Binh đoàn Potomac thành lập năm 1861 nhưng ban đầu chỉ là một quân đoàn nhỏ (Corp). Nguyên thủy binh đoàn mang tên Binh đoàn Đông Bắc Virginia do Chuẩn tướng Irvin McDowell chỉ huy. Binh đoàn này thất bại trong trận chiến đầu tiên của Nội chiến Hoa Kỳ (trận Bull Run thứ nhất). Sau đó Thiếu tướng George B. McClellan, chỉ huy Sư đoàn Potomac được cử làm tổng chỉ huy gồm cả cánh quân Đông Bắc Virginia của McDowell và cánh quân Washington của Chuẩn tướng Joseph K. Mansfield. Ngày 26 tháng 7 năm 1861, McClellan kết hợp các cánh quân Đông Bắc Virginia, Washington, Baltimore và Shenandoah thành một binh đoàn, lấy tên Binh đoàn Potomac.

Binh đoàn Potomac tham chiến phần lớn trên Mặt trận miền Đông, tại Virginia, Maryland, và Pennsylvania, và giải tán sau cuộc chiến ngày 28 tháng 6 1865.

Quân Liên minh miền Nam có một lực lượng cũng mang tên Binh đoàn Potomac do tướng P.G.T. Beauregard chỉ huy; từng đánh bại quân miền Bắc tại trận Bull Run thứ nhất. Binh đoàn này sau đó được đổi tên thành Binh đoàn Bắc Virginia và trở nên nổi tiếng khi Đại tướng Robert E. Lee chỉ huy.